動画を一旦画像に変換して解像度をあげて動画を高品質化する方法
「オリジナル3DCGモデルを使ってリップシンク動画作成」の記事でも触れていますが、タイトルの内容を実現するために最初に行うことは「動画を画像に変換する」ことです。
そのために使用するのが「FFmpeg」というツールです。
上記の記事の中でも、このツールを紹介していますが、掲載したリンクから辿ってみると、日々バージョンが更新されていて、既に私が紹介していたバージョンではなくなっていました。 私が使っているビィルドは「ffmpeg-20200831-4a11a6f-win64-static.zip」です。 ただ、そのバージョンが使いやすいということもあって、オールドバージョンを調査してみたら、以下のサイトに掲載されていました。
https://www.videohelp.com/software/ffmpeg/old-versions
これをダウンロード後、Cドライブ直下に解凍します。 すると以下のように、ffmpegフォルダーが出力されます。 その直下の「bin」フォルダーに本体プログラムである「ffmpeg.exe」が格納されています。
■画像への変換
「FFmpeg.exe」と同じディレクトリに、画像に変換したい動画ファイル（例えばmp4）を格納します。
ここまで準備できたら、Windows10であれば、画面下に表示されている「ここに入力して検索」の窓に「cmd」と入力します。
コマンドラインが起動します。 最初に、FFmpeg.exeが格納されているディレクトリに移動するため、以下を、タイプします。
cd C:\ffmpeg\bin
次に
ffmpeg -i ●●●.mp4 -vcodec png image_%03d.png
※コマンドラインでイチイチffmpegディレクトリー指定するのは面倒という時にはWindows10の環境変数で設定しておくとよいです。
参照url：https://jbjbgame.com/post-5568/
上記のコマンドを入力してリターンすれば、動画⇒画像への変換が開始されます。 変換された画像は、FFmpeg.exeのあるディレクトリに出力されます。
こんな感じで、動画から変換された画像が出力されます。
■画像の編集加工
１）色彩などを編集加工
私のお気に入りは「Luminar4」です。バッチモードを使えば、最初の画像の調整に設定した条件が残りのすべての画像にも適用されます。 予め豊富なプリセットが提供されているので好みで選択しています。もちろん手動も可能。 「オリジナル3DCGモデルを使ってリップシンク動画作成」の記事の「Luminar4を使ったメークアップ手順」に詳しく解説をしましたので参照してください。
２）画像から動画への変換
いろんな方法がありますね。 私が汎用しているのは「Vegas PRO 17.0」です。 あるいは、先ほど使用したFFmpegで以下のコマンドを打ち込んで変換することもできます。
ffmpeg -r 30 -i image_%03d-sharpen.png -vcodec libx264 -pix_fmt yuv420p -r 30 ***.mp4
※より詳しい解説は、例えば以下が参考になります。
https://techblog.morphoinc.com/entry/2020/07/13/100058
３）動画の高解像度化
Topaz社の「Video Enhance AI」で行っています。4Kにアップサイズするのに約30分を要しています。 以下に示した画像は、Video Enhance AI で4Kの動画にアップスケーリングしている最中のキャプチャーです。
圧倒的なクオリティーの向上が実現できる素晴らしいツールです。
※ 以下のＱＲコードはTopaz社製品全てを15% OFFで購入できるクーポンコードとなっています。 Video Enhance AIも対象となっています。 https://bit.ly/3eBJlPm
ちなみに、動画サイズは以下のように分類されます（参考までに）
関連ページ
- DAZ STUDIO PROの入手
- DAZ STUDIO PROの入手について紹介しています。
- DAZ STUDIO PROのインストール
- 「DAZ STUDIO PRO」のダウンロードとインストールについて２つの方法を紹介しています。１つはマニュアルインストール、もう１つはDAZ INSTALL MANAGER（DIM）による方法です。
- コンテンツフォルダーの移動手順
- DAZ STUDIOのコンテンツをCドライブ以外のフォルダーに移動する手順について紹介しています。
- コンテンツインストール先の変更手順
- DAZ STUDIOのコンテンツをCドライブ以外のフォルダーにインストールする手順について紹介しています。
- DAZプラチナクラブ会員
- DAZ 3Dにはプラチナ会員という有料の会員制度が設けられています。会員登録のメリットや会員登録・脱会の方法について詳しく紹介しています。
- DAZ Studioの起動
- DAZ STUDIO PROの起動方法、レイアウトの変更について説明しています。
- DAZ Studioで使用する3Dモデル
- DAZ 3Dで使用するキャラクターモデルの入手方法について説明しています。
- 3Dモデル読み込み・レンダリング
- ３Ｄモデルを読み込んで、レンダリングするまでの手順を詳しく説明しています。
- リップシンク
- リップシンクとは、言葉に合わせて口を動かす動作のことを指します。 DAZ STUDIO PROを使って、3Dモデルに、このリップシンクをさせることができます。 このようなリップシンクアニメーションの作成について説明しています。
- リップシンク動画作成のチュートリアル動画
- 「リップシンク」の項目で、リップシンクの作成方法を詳しく説明しましたが、文章が主体なので、分かりづらい部分があるかと思い、チュートリアル動画を作成しました。繰り返し閲覧いただくと、理解が促進されるかと思います。 今までに作成してきた3DCGアニメーション作品についても紹介しています。
- 音声合成
- 無料で、しかも外国語もネイティブに近い発音で喋ってくれる音声合成ソフトなどについて紹介しています。
- 動画の高品質化ツール
- 画像と同じですが、ビデオも単純に拡大すると画質は落ちてしまいます。 しかし、最近は技術が進歩していて、AIを使って解析し、不足している情報を補間しながら、高画質なビデオに自動変換するプロフェッショナルツールが提供される良き時代となっています。 そのツールがVideo Enhance AIです。
- 動画に字幕を入れる−YOUTUBE編
- DAZ STUDIOで3DCG動画を作成したら、YOUTUBEやVIMEOなどの動画サイトにアップロードすると思いますが、その際に「字幕」を入れておくと動画の付加価値が高まります。「字幕」を動画に入れるための方法を、ここでは紹介します。
- 動画に字幕を入れる−VREW編
- DAZ STUDIOで3DCG動画を作成したら、YOUTUBEやVIMEOなどの動画サイトにアップロードすると思いますが、その際に「字幕」を入れておくと動画の付加価値が高まります。「字幕」を動画に入れるための方法を、ここでは紹介します。ここでは、YOUTUBEなどの動画サイトに動画をアップロードする前に、予め動画に字幕を入れる方法として、無料で利用できる「VREW」というツールを取り上げます。
- 品質劣化なく動画を高圧縮
- 動画の高品質を維持しながら高圧縮することができるツール、Wonderfox社のHD Video Converter Factory PROについて紹介しています。
- HD Video Converter Factory Proによる動画ファイル圧縮のデモ
- 「HD Video Converter Factory Pro」を 使った動画圧縮の処理の流れと圧縮がどこまでできるかに ついて以下記事で紹介します。
- 3DCGモデルをリップシンクで歌わせる
- DAZ STUDIO PRO を使って3DCGモデルを歌わせる際に、ボーカルと音楽をきれいに分離して、ボーカルのみを抽出してからリップシンクさせることで、曲と口の動きを一致させることができます。 ボーカルと音楽が混ざったままでは口の動きがおかしくなったり、曲のタイミングと合わないといった問題が発生してしまいます。 使用する曲からボーカルと音楽をきれいに分離して、ボーカルのみを使ってリップシンクさせるとこの問題の解消につながります。 ここでは、曲からボーカルと音楽をきれいに分離する方法について紹介します。
- DAZ STUDIOで日本人女性モデルを簡単に作成する方法
- 日本人女性モデルを使って3DCG画像や動画を作りたいけど、どうしたら日本人モデルを入手することができるだろうか？ そんな悩みの解決に繋がる方法があります。 しかも、写真さえ入手できれば、大変簡単に日本人3DCGモデルを作成することができます。 その方法について紹介します。
- オリジナル3DCGモデルを使ってリップシンク動画作成
- リップシンクはDAZ STUDIO PRO4.14（最新バージョン）の32bit版を使っています。 NVIDIA Iray エンジンでレンダリングして背景透過画像（PNG形式）を連番出力し、VEGAS PRO 17.0で動画変換してリップシンク動画を作成することができます。リップシンク動画のモデルの肌つや、肌色などを調整する方法についても紹介しています。